Sparse R-CNN (2020-11-25) 학습 가능한 프로포절을 통한 End-to-End 객체 탐지

1. 객체 탐지의 패러다임 전환

1.1 기존 객체 탐지기의 조밀한 사전(Dense Prior) 의존성 분석

객체 탐지(Object Detection)는 컴퓨터 비전의 근본적인 과업 중 하나로, 이미지 내에 존재하는 특정 범주의 객체들을 식별하고(classification) 그 위치를 경계 상자(bounding box)로 정확하게 지정(localization)하는 것을 목표로 한다.1 지난 수년간 딥러닝 기반 객체 탐지 기술은 괄목할 만한 발전을 이루었으나, 그 성공의 기저에는 ’조밀한 사전(dense prior)’이라는 공통된 철학이 깊게 자리 잡고 있었다. 이는 이미지의 잠재적인 모든 위치에 대해 빽빽하게(densely) 객체 후보군을 생성하고, 이를 기반으로 최종 예측을 도출하는 접근 방식을 의미한다.1

이러한 조밀한 사전 기반의 방법론은 크게 두 가지 갈래로 발전해왔다. 첫째는 1단계 탐지기(One-Stage Detectors)로, YOLO나 RetinaNet과 같은 모델이 대표적이다. 이들은 이미지를 일정한 크기의 그리드로 분할한 뒤, 각 그리드 셀마다 사전에 정의된 다양한 크기와 종횡비의 앵커 박스(anchor box)를 수백, 수천 개씩 할당한다. 그리고 이 앵커 박스들을 기준으로 직접적으로 경계 상자의 위치 조정값과 클래스 확률을 예측한다. 이는 특징 맵(feature map)의 모든 픽셀 위치, 즉 H \times W 크기의 모든 그리드에 대해 k개의 앵커를 적용하는 ‘철저히 조밀한(thoroughly dense)’ 방식에 해당한다.2

둘째는 2단계 탐지기(Two-Stage Detectors)로, R-CNN 계열의 모델들이 여기에 속한다. 특히 Faster R-CNN은 이 패러다임을 정립한 모델로 평가받는다. 2단계 탐지기는 먼저 RPN(Region Proposal Network)이라는 별도의 네트워크를 사용하여 조밀한 앵커 박스로부터 객체가 존재할 가능성이 높은 일부 영역, 즉 희소한(sparse) 전경 프로포절(foreground proposal) 집합을 생성한다. 이 과정에서 수십만 개(HWk)에 달하는 조밀한 후보군이 수천 개 수준으로 압축된다. 이후 두 번째 단계에서, 이 선택된 프로포절 영역에 대해서만 정밀한 위치 보정과 클래스 분류를 수행한다. 이러한 방식은 ‘조밀-희소(dense-to-sparse)’ 접근법으로 정의할 수 있다.1

1.2 조밀한 방식의 내재적 한계

조밀한 사전에 의존하는 방식은 객체 탐지 성능을 비약적으로 향상시켰으나, 그 구조적 특성으로 인해 몇 가지 근본적인 한계를 내포하고 있었다.

첫째, 비최대 억제(Non-Maximum Suppression, NMS) 후처리 과정에 대한 강한 의존성이다. 조밀한 후보 생성 방식은 필연적으로 하나의 객체에 대해 다수의 중복되고 거의 동일한 경계 상자를 예측하게 된다.1 따라서 최종 예측 결과를 정리하고 단일 객체에 대한 유일한 예측만을 남기기 위해 NMS라는 후처리 과정이 필수적으로 요구된다. NMS는 가장 신뢰도가 높은 상자를 선택하고, 그와 일정 수준 이상 겹치는(IoU, Intersection-over-Union) 다른 상자들을 제거하는 휴리스틱한 알고리즘이다. 이 과정은 추가적인 연산을 요구하여 비효율적일 뿐만 아니라, NMS 임계값이라는 하이퍼파라미터에 매우 민감하다. 특히 객체들이 밀집해 있는 붐비는 장면(crowded scenes)에서는 올바른 예측 상자까지도 실수로 제거할 위험이 존재한다.1

둘째, 다대일 레이블 할당(Many-to-One Label Assignment) 문제이다. 훈련 과정에서 수십만 개의 앵커 박스 후보와 이미지 내에 존재하는 소수의 실제 객체(ground-truth object)를 매칭시켜야 한다. 이는 ‘다대일’ 할당 문제로 이어지며, 어떤 앵커를 긍정(positive) 샘플로, 어떤 앵커를 부정(negative) 샘플로 지정할지에 대한 복잡한 규칙이 필요하다. 일반적으로 IoU 임계값을 기준으로 할당하는데, 이 규칙은 수작업으로 설계된 휴리스틱이며, 네트워크의 학습 과정과 최종 성능에 민감한 영향을 미친다.1

셋째, 하이퍼파라미터에 대한 높은 민감성이다. 탐지기의 최종 성능은 앵커 박스의 크기, 종횡비, 개수 등 사람이 직접 설계해야 하는 수많은 하이퍼파라미터에 크게 좌우된다. 이러한 파라미터들은 데이터셋의 특성이나 객체의 분포에 따라 신중하게 튜닝되어야 하며, 이는 모델 설계와 최적화 과정에 상당한 노력을 요구한다.1

1.3 Sparse R-CNN의 등장: 순수 희소(Purely Sparse) 패러다임의 제안

이러한 기존 방식의 한계를 극복하기 위한 고민 속에서, Sparse R-CNN은 조밀한 사전을 완전히 배제하는 ’순수 희소(purely sparse)’라는 혁신적인 패러다임을 제안하며 등장했다.1 Sparse R-CNN의 핵심 아이디어는 RPN과 수십만 개의 앵커 박스 후보를, 고정된 개수(예: 100개)의 학습 가능한(learnable) 객체 프로포절(object proposals)로 완전히 대체하는 것이다.1

이러한 접근 방식은 객체 탐지의 개념을 근본적으로 재정의한다. 기존 모델들이 “조밀한 추측을 정제하는” 방식이었다면, Sparse R-CNN은 “희소한 예측 집합을 직접적으로 생성하는” 방식으로 전환했다. 이 프로포절들은 더 이상 단순한 기하학적 실체(앵커 박스)가 아니라, 네트워크 자체의 지속적이고 학습 가능한 파라미터로 격상되었다. 특히, 4차원 좌표의 ’프로포절 박스’와 함께 고차원의 ’프로포절 피처’를 도입함으로써, 프로포절은 객체의 위치뿐만 아니라 자세나 형태와 같은 풍부한 특성까지 인코딩하는 고차원 임베딩으로 진화했다.1

이러한 혁신을 통해 Sparse R-CNN은 RPN, 앵커 박스 설계, 다대일 레이블 할당, NMS 후처리 등 기존 파이프라인을 복잡하게 만들었던 모든 구성 요소를 제거할 수 있었다. 그 결과, 훈련부터 추론까지 어떠한 수작업 후처리도 필요 없는 진정한 의미의 End-to-End 프레임워크를 구축하게 되었다.1 이는 단순히 아키텍처를 개선한 것을 넘어, 객체 탐지 분야의 오랜 관행에 도전하고 패러다임의 근본적인 전환을 제시한 중요한 이정표라 할 수 있다.

2. Sparse R-CNN의 핵심 원리

2.1 핵심 철학: ‘희소한 입력, 희소한 출력 (Sparse-in, Sparse-out)’

Sparse R-CNN의 설계는 ’희소한 입력으로 희소한 출력을 생성한다(sparse-in, sparse-out)’는 명확한 패러다임에 기반한다.1 이는 파이프라인의 시작부터 끝까지 조밀한 계산을 배제하고, 오직 소수의 핵심적인 정보만을 다루겠다는 철학을 담고 있다. 이 희소성은 두 가지 핵심적인 측면에서 구현된다.1

첫째는 희소한 상자(Sparse Boxes) 개념이다. 이는 이미지 내에 존재하는 모든 객체를 예측하기 위해 수십만 개의 후보를 일일이 검토할 필요 없이, 소수의 잘 학습된 시작 상자(예: 100개)만으로도 충분하다는 믿음에 기반한다.1 이 접근법은 객체 탐지 문제를 “이미지 전체에서 객체를 찾는” 문제에서 “주어진 소수의 프로포절을 실제 객체에 매핑하는” 문제로 재정의한다.

둘째는 희소한 피처(Sparse Features) 개념이다. 이는 각 프로포절 상자에 해당하는 지역적 피처(RoI feature)가 이미지 전체의 모든 다른 피처와 상호작용할 필요가 없다는 원칙이다. 이 지점은 Sparse R-CNN을 동시대의 다른 희소 기반 모델인 DETR(DEtection TRansformer)과 근본적으로 구분 짓는 중요한 차이점이다. DETR은 소수의 학습 가능한 객체 쿼리(object query)를 사용하지만, 트랜스포머 아키텍처의 특성상 각 쿼리는 어텐션 메커니즘을 통해 이미지의 전역적인 피처 맵(global feature map) 전체와 상호작용해야 한다.1 Sparse R-CNN의 저자들은 이러한 전역적 상호작용이 여전히 조밀한 계산을 포함하므로 ’순수 희소’가 아니라고 주장한다. 반면, Sparse R-CNN은 각 프로포절에 대해 RoIAlign을 통해 추출된 지역적 피처만을 독립적으로 처리함으로써 진정한 의미의 희소한 피처 상호작용을 구현했다.1

이러한 순수 희소성 원칙은 파이프라인 전체에 걸쳐 일관되게 유지된다. 조밀한 후보를 생성하는 단계도, 전역 피처와 상호작용하는 단계도 존재하지 않는다.1 이는 객체 인식이 본질적으로 지역적인 현상(local phenomenon)이며, 전역적인 추론은 값비싼 어텐션 메커니즘 없이도 지능적으로 설계된 동적 헤드를 통해 암시적으로 처리될 수 있다는 믿음을 반영한다.

2.2 학습 가능한 프로포절(Learnable Proposals)의 도입

Sparse R-CNN의 핵심 혁신은 ’학습 가능한 프로포절’이라는 새로운 개념을 도입한 데 있다. 이는 단순한 좌표값이 아니라, 네트워크의 일부로서 데이터로부터 학습되는 두 가지 구성 요소로 이루어진다.

첫 번째 구성 요소는 **프로포절 박스(Proposal Boxes)**이다. 이는 N \times 4 차원의 학습 가능한 파라미터로, 각 행은 정규화된 중심 좌표와 너비, 높이(x, y, w, h)를 나타낸다. 이 프로포절 박스들은 특정 입력 이미지와는 무관하게, 훈련 데이터셋 전체에 걸쳐 객체가 존재할 가능성이 높은 위치에 대한 통계적 사전 정보(statistics of potential object location) 역할을 하도록 학습된다.1 예를 들어, 도로 주행 데이터셋으로 학습할 경우, 일부 프로포절은 이미지 하단의 보행자 위치에, 다른 프로포절은 중앙의 차량 위치에 특화되도록 학습될 수 있다. 이처럼 프로포절 박스는 RPN이 매 이미지마다 즉석에서 계산하던 통계적 위치 정보를 네트워크 가중치 안에 압축된 파라미터 형태의 ’메모리’로 저장하는 것과 같다.6 이들은 무작위로 초기화된 후, 역전파를 통해 네트워크의 다른 모든 파라미터와 함께 최적화된다.1

두 번째 구성 요소는 **프로포절 피처(Proposal Features)**이다. 4차원의 프로포절 박스만으로는 객체의 자세, 모양, 부분적인 가려짐 등 복잡하고 풍부한 인스턴스 특성(instance characteristics)을 표현하기에 한계가 있다.1 이를 보완하기 위해, 각 프로포절 박스에 대응하는 N \times d(예: d=256) 차원의 고차원 잠재 벡터, 즉 프로포절 피처가 도입되었다.2 이 피처 벡터는 해당 프로포절이 어떤 종류의 객체 특성을 포착해야 하는지에 대한 정보를 인코딩하도록 학습된다. 프로포절 피처는 이후 설명할 동적 헤드에서 각 인스턴스에 맞는 처리 방식을 지시하는 ’명령어 집합’과 같은 역할을 수행하며, 이는 Sparse R-CNN의 성공에 결정적인 요소로 작용한다.1

2.3 RPN과 NMS의 완전한 제거가 가져오는 이점

학습 가능한 희소 프로포절을 도입함으로써, Sparse R-CNN은 기존 객체 탐지 파이프라인의 가장 복잡한 두 축인 RPN과 NMS를 완전히 제거할 수 있었다. 이는 다음과 같은 중요한 이점을 가져왔다.

• 파이프라인의 극적인 단순화: RPN과 NMS가 사라지면서, 전체 객체 탐지 파이프라인은 백본, 동적 헤드, 예측 레이어라는 세 가지 핵심 모듈로 구성된 매우 단순하고 통합된 네트워크 구조를 갖게 되었다.1 이는 모델의 이해와 구현을 용이하게 만든다.
• 수작업 설계 노력의 제거: 앵커 박스의 크기, 종횡비, 개수를 결정하고, 다대일 레이블 할당을 위한 복잡한 규칙을 설계하는 등, 기존 모델에서 요구되던 모든 수작업 설계 노력이 완전히 불필요해졌다.1 이는 모델의 일반화 성능을 높이고, 새로운 데이터셋에 대한 적응을 용이하게 한다.
• 완전한 End-to-End 프레임워크 구축: NMS와 같은 후처리 과정 없이 모델의 출력이 바로 최종 예측이 되므로, 훈련부터 추론까지 어떠한 외부 개입도 필요 없는 진정한 의미의 End-to-End 프레임워크가 완성되었다.1 이는 전체 시스템을 하나의 목적 함수로 통합하여 최적화할 수 있게 함으로써, 잠재적으로 더 나은 성능을 이끌어낼 수 있다.

아래 표는 Sparse R-CNN이 제시한 순수 희소 패러다임을 기존의 조밀 및 조밀-희소 패러다임과 비교하여 그 차이점을 명확히 보여준다.

표 1: 객체 탐지 패러다임 비교

3. 아키텍처 심층 분석

3.1 전체 파이프라인 및 데이터 흐름

Sparse R-CNN은 개념적으로 단순하면서도 강력한 통합 네트워크 아키텍처를 가지고 있다. 전체 구조는 크게 세 부분으로 구성된다: (1) 이미지로부터 특징을 추출하는 백본 네트워크, (2) 각 프로포절에 대해 맞춤형 예측을 수행하는 동적 인스턴스 상호작용 헤드, (3) 최종 분류 및 위치를 예측하는 두 개의 태스크별 예측 레이어.3

모델의 입력은 총 세 가지로 구성된다: (1) 분석할 이미지, (2) 학습 가능한 프로포절 박스 집합(N \times 4), (3) 학습 가능한 프로포절 피처 집합(N \times 256).3 이 세 가지 입력을 기반으로 한 데이터 흐름은 다음과 같다.

1. 입력 이미지는 먼저 백본 네트워크를 통과하여 다중 스케일의 피처 맵을 생성한다.
2. N개의 학습 가능한 프로포절 박스는 이 피처 맵 위에서 RoIAlign 연산을 통해 각각에 해당하는 지역적 피처(RoI 피처)를 추출하는 데 사용된다.
3. 추출된 N개의 RoI 피처는 각각에 대응하는 N개의 프로포절 피처와 함께, 고유한 동적 인스턴스 상호작용 헤드로 입력된다.
4. 동적 헤드는 RoI 피처와 프로포절 피처 간의 상호작용을 통해 최종적인 객체 피처(object feature)를 생성한다.
5. 이 객체 피처는 마지막으로 두 개의 분리된 예측 레이어(일반적으로 MLP)로 전달되어, 최종적인 클래스 레이블(classification)과 경계 상자 좌표(location)를 예측하게 된다.5

이러한 흐름은 각 프로포절이 독립적이면서도 맞춤화된 방식으로 처리되는 과정을 명확히 보여주며, 전체 파이프라인이 미분 가능한 연산으로만 구성되어 있어 End-to-End 학습이 가능하다.

3.2 백본 네트워크(Backbone) 및 피처 피라미드 네트워크(FPN)

Sparse R-CNN은 이미지로부터 의미 있는 시각적 특징을 추출하기 위해 표준적인 백본 아키텍처를 채택한다. 일반적으로 ImageNet으로 사전 훈련된 ResNet(Residual Network)과 FPN(Feature Pyramid Network)의 조합이 사용된다.1

ResNet은 깊은 네트워크에서 효과적인 학습을 가능하게 하는 잔차 학습(residual learning) 구조를 통해 강력한 특징 표현을 학습한다. FPN은 ResNet의 여러 계층에서 추출된 피처 맵을 결합하여, 저수준의 공간적 정보와 고수준의 의미적 정보를 모두 포함하는 다중 스케일 피처 피라미드를 구축한다. 이 피처 피라미드는 이미지 내에 존재하는 다양한 크기의 객체들을 효과적으로 탐지하는 데 결정적인 역할을 한다. 예를 들어, 피라미드의 상위 계층(해상도가 낮고 의미 정보가 풍부한)은 큰 객체를 탐지하는 데 유리하고, 하위 계층(해상도가 높고 공간 정보가 풍부한)은 작은 객체를 탐지하는 데 유리하다.

흥미롭게도, 후속 연구인 Compact Sparse R-CNN에서는 FPN의 다중 레이어 출력이 Sparse R-CNN의 성능 향상에 예상보다 크게 기여하지 않는다는 점을 발견했다.13 이는 학습 가능한 프로포절 자체가 이미 다양한 스케일의 객체를 포착하는 능력을 내재적으로 학습할 수 있음을 시사한다. 이 관찰에 기반하여, 해당 연구에서는 FPN을 더 가볍고 빠른 단일 레이어 출력 넥(Single-Layer Output Neck, SLON)으로 교체하여 연산량을 줄이면서도 성능을 유지하는 데 성공했다. 이는 Sparse R-CNN의 핵심 성능이 백본의 복잡성보다는 프로포절과 헤드 디자인에 더 크게 의존함을 보여주는 증거이기도 하다.

3.3 동적 인스턴스 상호작용 헤드(Dynamic Instance Interactive Head)

동적 인스턴스 상호작용 헤드는 Sparse R-CNN의 성공을 이끈 가장 핵심적인 아키텍처 혁신이다.1 기존의 2단계 탐지기(예: Faster R-CNN)가 모든 RoI에 대해 동일한 파라미터를 가진 공유된 FC(Fully-Connected) 레이어 헤드를 사용했던 것과 달리, 이 동적 헤드는 각 인스턴스(프로포절)에 맞춤화된 헤드를 실시간으로 생성하여 적용한다.1 이는 일종의 ‘하이퍼-컨디셔닝(hyper-conditioning)’ 또는 인스턴스 수준의 ’메타-러닝(meta-learning)’으로 볼 수 있다.

동적 헤드의 단계별 작동 방식은 다음과 같다.

1. RoI 피처 추출: 앞서 설명한 바와 같이, N개의 프로포절 박스를 사용하여 FPN 피처 맵으로부터 RoIAlign을 통해 N개의 RoI 피처를 추출한다.1 각 RoI 피처는 특정 프로포절 영역의 시각적 정보를 담고 있다.

2. 동적 파라미터 생성: 각 프로포절에 대응하는 프로포절 피처(예: 256차원 벡터)가 이 단계의 핵심 역할을 수행한다. 이 프로포절 피처는 하나 이상의 선형 레이어를 통과하여, 해당 RoI 피처를 처리할 컨볼루션 레이어의 가중치(파라미터)를 동적으로 생성한다.1 즉, 프로포절 피처는 단순한 특징 벡터가 아니라, 해당 RoI를 어떻게 처리해야 하는지에 대한 ’지침’을 담고 있는 메타-네트워크(meta-network)의 입력으로 작용한다. 이를 통해

N개의 프로포절 각각에 대해 고유한 처리 방식을 가진 N개의 가상적인 ’전문가 헤드’가 생성되는 효과를 얻는다.

3. 인스턴스 상호작용: RoI 피처는 바로 이 동적으로 생성된 파라미터를 가진 1x1 컨볼루션 레이어들을 순차적으로 통과한다. 이 과정에서 각 RoI 피처는 자신에게 가장 적합한 방식으로 변환된다. 예를 들어, 특정 프로포절이 ’사람의 얼굴’을 탐지하도록 학습되었다면, 해당 프로포절 피처는 눈, 코, 입과 같은 특징을 강조하는 컨볼루션 필터를 생성하도록 학습될 것이다. 이 상호작용을 통해 전경 객체와 관련된 유용한 정보는 강조되고 배경과 같은 불필요한 정보는 효과적으로 필터링된다.1

4. 셀프 어텐션(Self-Attention): 이 동적 상호작용이 일어나기 전에, N개의 프로포절 피처 집합 전체에 대해 셀프 어텐션 모듈이 적용될 수 있다. 이 모듈은 프로포절들 간의 관계를 모델링하여, 한 객체의 존재가 다른 객체의 예측에 미치는 영향을 고려할 수 있게 한다. 예를 들어, ’테니스 라켓’을 탐지하는 프로포절은 ’테니스 공’을 탐지하는 프로포절과 강한 상호 연관성을 학습할 수 있다. 이 과정은 최종 예측의 일관성을 높이고 성능 향상에 기여한다.1

이러한 동적 헤드 구조는 고정된 파라미터를 사용하는 기존 헤드에 비해 훨씬 높은 유연성과 표현력을 제공하며, 논문에서는 이것이 Sparse R-CNN의 높은 정확도를 달성하는 데 결정적인 역할을 했다고 강조한다.1

3.4 반복적 개선 구조(Iterative Architecture)

Sparse R-CNN은 단일 예측 단계에 그치지 않고, 동적 헤드를 여러 단계(stage)에 걸쳐 반복적으로 적용하는 구조를 채택하여 예측의 정밀도를 점진적으로 개선한다.6 이는 마치 학생이 문제를 한 번 풀고 나서 다시 검토하며 답을 수정해나가는 과정과 유사하다.

이 반복 구조에서, 한 단계의 동적 헤드에서 출력된 예측 결과(정제된 경계 상자와 새로운 객체 피처)는 다음 단계의 입력 프로포절(프로포절 박스와 프로포절 피처)로 사용된다.1 이 과정을 통해 초기에는 다소 부정확했던 프로포절이 점차 실제 객체에 가깝게 정제된다.

단순히 이러한 캐스케이드(cascade) 구조를 쌓는 것만으로는 큰 성능 향상을 기대하기 어렵다. Sparse R-CNN의 핵심적인 개선점은 이전 단계에서 생성된 객체 피처(object features)를 현재 단계의 입력 피처에 명시적으로 재사용하는 것이다. 구체적으로, 이전 단계의 객체 피처를 현재 단계의 RoI 피처와 결합(concatenate)하여 동적 헤드의 입력으로 사용한다. 이 작은 변화는 모델에 이전 단계의 정제 결과에 대한 강력한 단서를 제공하며, 이 피처 재사용 메커니즘을 추가했을 때 무려 11.7 AP의 성능 향상을 가져왔다고 보고되었다.1

이러한 반복적 개선 과정은 특히 일대일 매칭이라는 희소한 학습 신호 하에서 안정적인 학습을 가능하게 하는 중요한 장치로 작용한다. 초기 단계에서는 프로포절과 실제 객체 간의 매칭이 불안정할 수 있지만, 여러 단계를 거치면서 점진적으로 위치를 수정할 기회를 여러 번 제공함으로써 모델이 안정적으로 수렴하도록 돕는다. Sparse R-CNN은 일반적으로 6개의 반복적인 헤드를 사용하여 최종 예측을 도출한다.13

4. 훈련 방법론 및 손실 함수

4.1 세트 예측(Set Prediction) 문제로의 재정의

Sparse R-CNN은 객체 탐지 문제를 전통적인 방식에서 벗어나, 고정된 크기(N)의 예측 집합과 실제 객체 집합 간의 최적의 쌍을 찾는 ‘세트 예측(set prediction)’ 문제로 재구성한다. 이 접근 방식은 DETR에서 처음 제안되어 큰 반향을 일으켰으며, Sparse R-CNN은 이를 계승하여 자산의 프레임워크에 맞게 적용했다.1

이 패러다임에서 모델의 목표는 N개의 슬롯(slot)으로 구성된 예측 집합을 출력하는 것이다. 각 슬롯은 (클래스, 경계 상자) 쌍의 예측을 담고 있다. 이미지에 실제 객체가 M개 존재할 때(M \le N), 모델은 M개의 슬롯에서는 실제 객체와 일치하는 예측을 생성하고, 나머지 N-M개의 슬롯에서는 ‘객체 없음(no object)’ 클래스를 예측하도록 학습된다. 이 방식은 출력의 순서에 무관하게 예측 집합과 실제 객체 집합 간의 일치도를 평가할 수 있게 해준다.

4.2 이분 매칭(Bipartite Matching)과 헝가리안 알고리즘

세트 예측 문제를 해결하기 위해, 훈련 과정에서 N개의 예측과 M개의 실제 객체(ground truth) 간에 어떤 쌍을 맺어주어 손실을 계산할지 결정해야 한다. Sparse R-CNN은 이 할당 문제를 해결하기 위해 이분 매칭(bipartite matching) 알고리즘을 사용하며, 구체적으로는 **헝가리안 알고리즘(Hungarian algorithm)**을 적용한다.1

매칭 과정은 다음과 같다. 먼저, 모든 가능한 예측-실제 객체 쌍(N \times M)에 대해 매칭 비용(matching cost)을 계산한다. 이 비용은 해당 쌍의 (1) 클래스 예측의 정확도(예: 예측된 클래스 확률)와 (2) 경계 상자의 유사도(예: L1 손실 및 GIoU 손실)를 종합하여 산출된다.1 그 후, 헝가리안 알고리즘은 전체 쌍들의 비용 합이 최소가 되는 최적의 일대일(one-to-one) 매칭을 찾는다.

이 일대일 매칭 방식은 Sparse R-CNN의 End-to-End 설계에 있어 핵심적인 역할을 한다. 기존의 다대일 할당 방식이 가졌던 복잡성과 휴리스틱한 규칙들을 완전히 제거할 뿐만 아니라, 모델이 본질적으로 중복 예측을 생성하지 않도록 유도한다. 훈련 과정에서 하나의 실제 객체는 오직 하나의 예측에만 할당되므로, 모델은 해당 객체에 대해 여러 개의 중복된 예측을 생성할 유인이 사라진다. 대신, 각 예측이 고유한 실제 객체를 담당하도록 학습된다. 이러한 훈련 방식이 바로 NMS 후처리를 불필요하게 만드는 근본적인 원인이다.1

4.3 손실 함수(Loss Function)의 구성 요소

최종 훈련 손실은 헝가리안 알고리즘을 통해 결정된 최적의 매칭 쌍에 대해서만 계산된다. 매칭되지 않은 예측들은 ‘객체 없음’ 클래스를 예측하도록 학습된다. 전체 손실 함수 L은 매칭 비용 함수와 동일한 형태를 가지며, 분류 손실과 경계 상자 회귀 손실의 가중 합으로 구성된다.1
L = \lambda_{cls} \cdot L_{cls} + \lambda_{L1} \cdot L_{L1} + \lambda_{giou} \cdot L_{giou}
각 구성 요소의 역할은 다음과 같다.

• L_{cls}: 분류 손실 (Classification Loss). 예측된 클래스와 실제 클래스 레이블 간의 손실을 계산한다. Sparse R-CNN은 Focal Loss를 사용하여, 학습이 쉬운 다수의 배경 샘플보다 학습이 어려운 소수의 전경 객체 샘플에 더 집중하도록 한다. 이는 극심한 클래스 불균형 문제를 완화하는 데 매우 효과적이다.1
• L_{L1}: L1 손실 (L1 Loss). 예측된 경계 상자와 실제 경계 상자의 정규화된 중심 좌표(x, y), 높이(h), 너비(w) 간의 L1 거리(절대값 차이)를 계산하는 손실이다. 이는 상자의 위치와 크기를 직접적으로 최적화하는 역할을 한다.1
• L_{giou}: GIoU 손실 (Generalized IoU Loss). 예측된 상자와 실제 상자 간의 일반화된 IoU(Generalized Intersection over Union)를 기반으로 한 손실이다. L1 손실은 상자의 네 파라미터를 독립적으로 취급하고 스케일에 민감한 단점이 있는 반면, GIoU 손실은 상자를 하나의 단위로 취급하며 스케일에 불변하다. 특히, 두 상자가 전혀 겹치지 않을 때(IoU=0)에도 L1 손실과 달리 유의미한 그래디언트를 제공하여 안정적인 학습을 돕는다. 따라서 L1 손실과 GIoU 손실을 함께 사용하는 것은 상호 보완적인 효과를 통해 더 정확하고 안정적인 경계 상자 회귀를 가능하게 한다.1
• \lambda_{cls}, \lambda_{L1}, \lambda_{giou}: 각 손실 항의 상대적 중요도를 조절하는 하이퍼파라미터 계수이다.1

5. 성능 분석 및 비교 연구

5.1 COCO 데이터셋 기반 성능 평가

Sparse R-CNN은 객체 탐지 분야의 표준 벤치마크인 COCO(Common Objects in Context) 데이터셋에서 기존의 잘 확립된 탐지기들과 대등하거나 우수한 수준의 정확도, 실행 시간, 그리고 훈련 수렴 성능을 입증했다.1

주요 실험 결과에 따르면, ResNet-50 백본과 FPN을 사용하고 표준 3x 훈련 스케줄(약 36 에폭)을 적용했을 때, Sparse R-CNN은 45.0 AP(Average Precision)를 달성했다.1 이는 당시 동일한 조건의 다른 모델들을 상회하는 높은 수치이다. 일부 자료에서는 44.5 AP로 보고되기도 했는데 5, 이러한 미세한 차이는 훈련 시의 무작위성이나 구현 디테일에 따른 자연스러운 변동으로 볼 수 있다.14 추론 속도는 NVIDIA V100 GPU 단일 환경에서 22 FPS(Frames Per Second)로 측정되어, 실시간에 가까운 성능을 보여주었다.1

또한, 프로포절의 개수 N이 성능에 미치는 영향도 분석되었다. 프로포절 개수를 100개에서 300개로 늘렸을 때 성능이 유의미하게 향상되는 경향이 관찰되었으며, 이는 더 많은 프로포절이 더 다양한 객체 인스턴스를 포착할 수 있는 용량을 제공함을 시사한다.14

5.2 주요 모델과의 비교

Sparse R-CNN의 성능은 동시대의 주요 객체 탐지 모델들과의 비교를 통해 더욱 명확하게 드러난다.

• Faster R-CNN 및 RetinaNet: Sparse R-CNN은 ResNet-50 및 ResNet-101 백본을 사용한 실험 모두에서 대표적인 2단계 탐지기인 Faster R-CNN과 1단계 탐지기인 RetinaNet의 성능을 일관되게 능가했다.2 이는 RPN과 앵커 박스, NMS를 제거한 희소 패러다임이 복잡한 기존 방식보다 더 효과적일 수 있음을 실증적으로 보여준 결과이다. 성능 향상은 단순히 최종 정확도에 그치지 않고, 파이프라인의 단순화로 인한 효율성 증대를 동반했다.
• DETR: Sparse R-CNN은 End-to-End 철학을 공유하는 DETR과 가장 직접적인 비교 대상이다. 성능 면에서 두 모델은 매우 유사한 수준의 높은 정확도를 보였다.2 그러나 Sparse R-CNN은 DETR의 가장 큰 단점으로 지적되었던 매우 긴 훈련 시간을 극복했다. DETR이 수렴하기 위해 수백 에폭의 훈련을 필요로 했던 반면, Sparse R-CNN은 표준적인 36 에폭 훈련만으로도 최고 성능에 도달하여 훈련 효율성 측면에서 명백한 우위를 점했다.6 이러한 차이는 두 모델의 근본적인 아키텍처 차이에서 기인한다. DETR의 전역 어텐션은 학습이 매우 어려운 반면, Sparse R-CNN이 사용하는 지역적 RoI 피처는 강력한 귀납적 편향(inductive bias)을 제공하여 학습 문제를 훨씬 쉽게 만들기 때문이다.
• YOLO 시리즈: YOLO와 같은 1단계 탐지기들은 일반적으로 속도에서 큰 강점을 보인다. Sparse R-CNN은 2단계 구조를 유지하면서도 NMS와 같은 병목 구간을 제거하여, 22 FPS라는 경쟁력 있는 추론 속도를 달성했다.7 특히, 2단계 접근법의 장점을 살려 작은 객체 탐지(APs)에서 1단계 탐지기보다 더 나은 성능을 보일 잠재력을 가지고 있다.7

아래 표는 주요 모델들의 COCO test-dev 벤치마크 성능을 요약하여 Sparse R-CNN의 위치를 가늠하게 해준다.

표 2: COCO test-dev 벤치마크 성능 비교 (요약)

주: Faster R-CNN, RetinaNet, DETR의 수치는 일반적인 공개 보고 값을 기준으로 하며, Sparse R-CNN의 세부 AP 값은 원본 논문에서 제공되지 않아 AP 총점만 표기함.

5.3 훈련 수렴 속도 및 추론 시간

Sparse R-CNN의 가장 큰 실용적 장점 중 하나는 빠른 훈련 수렴 속도이다. 앞서 언급했듯이, DETR이 최고 성능에 도달하기 위해 500 에폭에 달하는 긴 훈련을 요구했던 반면, Sparse R-CNN은 훨씬 적은 훈련 에폭(예: 36 에폭)만으로도 DETR과 대등하거나 더 높은 AP를 달성했다.6 이는 연구 및 개발 사이클을 크게 단축시키고, 더 적은 계산 자원으로도 고성능 모델을 훈련할 수 있게 해준다는 점에서 중요한 의미를 가진다.

추론 시간 측면에서도 Sparse R-CNN은 효율적인 성능을 보여준다. ResNet-50 FPN 기준 22 FPS는 RPN과 NMS를 포함하는 기존 2단계 탐지기보다 빠르거나 비슷한 수준이며, 이는 파이프라인 단순화가 직접적인 속도 향상으로 이어졌음을 의미한다.1 이처럼 Sparse R-CNN은 단순히 정확도를 높인 것을 넘어, 정확도와 효율성 간의 균형(trade-off)을 한 단계 높은 수준으로 끌어올렸다는 점에서 그 가치를 인정받는다.

6. 한계점 및 후속 연구 동향

Sparse R-CNN은 객체 탐지 분야에 혁신적인 패러다임을 제시했지만, 그 자체로 완벽한 모델은 아니었다. 이 모델의 성공은 새로운 연구 방향을 제시함과 동시에, 그 설계에서 비롯된 새로운 종류의 한계점들을 드러냈다. 이러한 한계들은 후속 연구들을 통해 활발하게 개선되고 있다.

6.1 Sparse R-CNN의 내재적 한계

Sparse R-CNN의 핵심 설계에서 비롯된 두 가지 주요 한계는 다음과 같다.

1. 일대일(One-to-One) 레이블 할당의 비효율성

헝가리안 알고리즘을 통한 일대일 매칭은 NMS를 제거하고 End-to-End 학습을 가능하게 한 핵심 요소였지만, 동시에 훈련 과정의 비효율성을 야기하는 원인이 되기도 했다. 각 실제 객체에 대해 단 하나의 예측(긍정 샘플)만이 손실 계산에 참여하고 학습 신호를 받게 되므로, 나머지 N-1개의 프로포절은 해당 객체에 대해 아무것도 배우지 못하거나 배경으로 처리된다.12 이는 특히 훈련 초기에, 무작위로 초기화된 프로포절들이 최적의 매칭을 찾기 어려울 때 학습을 더디게 만드는 요인으로 작용한다. 즉, 긍정 샘플의 수가 너무 적어 감독 신호(supervision signal)가 희소해지는 문제가 발생한다.12

2. 추론 시 입력 이미지에 비적응적인 고정 프로포절

학습 가능한 프로포절 박스와 피처는 훈련 데이터셋 전체의 통계적 분포를 학습하여 고정된 파라미터로 저장된다. 이는 추론 시에는 어떤 이미지가 입력되더라도 항상 동일한 초기 프로포절 집합이 사용됨을 의미한다.12 이러한 정적인(static) 프로포절은 평균적으로는 효과적일 수 있으나, 특정 이미지의 고유한 내용이나 객체 배치에 적응하지 못하는 근본적인 한계를 가진다. 예를 들어, 매우 특이한 구도나 객체가 등장하는 이미지에서는 고정된 프로포절이 초기 위치를 제대로 잡지 못해 탐지에 실패할 수 있다. 이상적으로는 프로포절이 입력 이미지의 내용에 따라 동적으로 생성되어야 더 강건한 성능을 보일 수 있다.12

6.2 개선 모델의 등장: Dynamic Sparse R-CNN & Compact Sparse R-CNN

이러한 Sparse R-CNN의 한계점들은 곧바로 후속 연구들의 주요 목표가 되었다. 그중 대표적인 두 모델은 다음과 같다.

1. Dynamic Sparse R-CNN

이 모델은 Sparse R-CNN의 두 가지 핵심 한계를 직접적으로 해결하기 위해 제안되었다.12

• 동적 레이블 할당 (Dynamic Label Assignment, DLA): 일대일 매칭의 비효율성을 개선하기 위해, 훈련 중 여러 긍정 샘플을 할당하는 ‘일대다(one-to-many)’ 매칭을 도입했다. 특히, 반복적인 개선 구조의 각 단계마다 매칭 전략을 다르게 적용한다. 예측이 부정확한 초기 단계에서는 더 엄격한 기준(예: 상위 1개)으로 매칭하고, 예측이 정제되는 후기 단계에서는 더 느슨한 기준(예: 상위 3개)으로 매칭하여 더 많은 긍정 샘플이 학습에 참여하도록 유도한다. 이 동적 할당 전략은 훈련 효율성을 크게 향상시켰다.12

• 동적 프로포절 생성 (Dynamic Proposal Generation, DPG): 고정된 프로포절 문제를 해결하기 위해, 입력 이미지로부터 직접 프로포절을 동적으로 생성하는 메커니즘을 도입했다. 이는 이미지의 전역적인 컨텍스트를 분석하여 해당 이미지에 가장 적합한 초기 프로포절 박스와 피처를 생성함으로써, 추론 시 입력에 적응적인(sample-dependent) 탐지를 가능하게 한다.12

이러한 두 가지 핵심 개선을 통해, Dynamic Sparse R-CNN은 동일한 ResNet-50 백본에서 기존 Sparse R-CNN보다 2.2% AP 높은 47.2% AP를 달성하며 그 효과를 입증했다.12

• Compact Sparse R-CNN

이 모델은 정확도를 유지하면서 추론 속도와 효율성을 극대화하는 데 초점을 맞췄다.13

• 반복적 헝가리안 할당자 (Iterative Hungarian Assigner, IHA): 훈련 시 각 객체에 하나의 긍정 프로포절 대신 여러 개를 할당하여, 모델이 하나의 객체에 대해 여러 개의 유효한 예측 후보를 생성하도록 장려한다. 이 덕분에 추론 시에는 더 적은 수의 반복 헤드(예: 6개에서 3~4개)만으로도 충분히 높은 정확도를 달성할 수 있게 되어, 전체적인 추론 시간을 단축시킨다.13
• 단일 레이어 출력 넥 (Single-Layer Output Neck, SLON): FPN의 다중 스케일 피처가 Sparse R-CNN의 성능에 미치는 영향이 제한적이라는 관찰에 기반하여, 복잡한 FPN을 더 가볍고 빠른 SLON으로 대체했다. 이를 통해 전체 모델의 연산량(FLOPs)을 약 30% 줄이면서도 성능 저하 없이 오히려 약간의 성능 향상을 이루어냈다.13

이러한 후속 연구들의 등장은 Sparse R-CNN이 제시한 패러다임이 단일 모델에 그치지 않고, 지속적으로 발전하고 개선될 수 있는 강력한 연구 기반을 제공했음을 보여준다. 이는 문제 해결의 순환적 과정을 보여주는 좋은 예시로, 하나의 혁신적인 해결책(Sparse R-CNN)이 새로운 종류의 문제(희소한 감독 신호, 비적응성)를 드러내고, 다시 그 문제를 해결하기 위한 또 다른 혁신(Dynamic Sparse R-CNN)으로 이어지는 연구 발전의 전형적인 모습을 보여준다.

7. 객체 탐지 분야에 미친 영향 및 응용

7.1 희소 프로포절 개념의 확산

Sparse R-CNN이 제시한 ’학습 가능한 희소 프로포절’이라는 개념은 객체 탐지 연구 커뮤니티에 상당한 영향을 미쳤다. 이 모델의 성공은 앵커 박스라는 오랜 관행에 대한 의존성을 줄이고, NMS가 없는 완전한 End-to-End 설계를 지향하는 연구 흐름을 가속화하는 기폭제가 되었다.1

Sparse R-CNN 이전에는 DETR이 End-to-End 탐지의 가능성을 열었지만, 복잡한 트랜스포머 구조와 극도로 긴 훈련 시간 때문에 많은 연구자들이 쉽게 접근하고 활용하기 어려웠다. 반면, Sparse R-CNN은 CNN, RoIAlign 등 기존 연구자들에게 친숙한 빌딩 블록을 기반으로 유사한 End-to-End 결과를 달성했다.1 또한, 훨씬 빠른 훈련 수렴 속도는 실험과 연구의 진입 장벽을 낮추는 역할을 했다. 이로 인해 Sparse R-CNN은 NMS 없는 End-to-End 탐지라는 개념을 ’대중화’하고, 더 넓은 연구 커뮤니티가 희소 기반 접근법을 채택하도록 이끄는 실용적인 다리 역할을 수행했다.

그 결과, 많은 후속 연구들이 Sparse R-CNN의 아이디어를 기반으로 파생되었다. 일부는 매칭 전략을 개선하여 훈련 효율성을 높이는 데 집중했고 15, 다른 일부는 아키텍처를 경량화하여 효율성을 극대화했으며 13, 또 다른 연구들은 이 희소 프로포절 개념을 새로운 태스크나 도메인에 적용하는 방향으로 나아갔다.

7.2 특수 도메인으로의 확장 및 응용

Sparse R-CNN의 핵심 아이디어, 즉 프로포절을 백본의 피처 그리드로부터 분리하고 학습 가능한 파라미터로 취급하는 방식은 매우 모듈적이고 적응성이 높다는 장점을 가진다. 이 덕분에 기본 수평 경계 상자 탐지를 넘어 다양한 특수 도메인으로 성공적으로 확장될 수 있었다.

• 회전 객체 탐지 (Oriented Object Detection): 가장 대표적인 확장 사례는 회전된 객체를 탐지하는 분야이다. Sparse R-CNN OBB는 항공 및 위성 이미지 분석, 특히 합성 개구 레이더(SAR) 이미지에서의 선박 탐지와 같은 응용을 위해 제안되었다.9 기존 앵커 기반 방식에서는 회전된 앵커를 설계하는 것부터가 복잡한 문제였지만, Sparse R-CNN 프레임워크에서는 확장이 매우 간단했다. 기존의 4차원 프로포절 박스(

x, y, w, h) 정의에 회전 각도 \theta를 추가하여 5차원(x, y, w, h, \theta)으로 만들고, 손실 함수만 그에 맞게 수정하면 되었다.9 이는 Sparse R-CNN의 핵심 구조가 경계 상자의 특정 기하학적 형태에 얽매이지 않음을 보여주며, 3D 객체 탐지나 다른 복잡한 형태의 인스턴스 인식 문제로도 쉽게 확장될 수 있는 잠재력을 시사한다.

• 교통 장면 및 원격 탐사: 복잡한 교통 장면 15이나 객체가 작고 밀집한 원격 탐사 이미지 18와 같이 높은 정확도가 요구되는 실제 응용 분야에서도 Sparse R-CNN을 기반으로 한 개선 연구들이 활발히 진행되고 있다. 이들 연구는 Sparse R-CNN의 동적 헤드 구조를 개선하거나 손실 함수를 수정하여 특정 도메인의 문제(예: 작은 객체 탐지 성능 저하)를 해결하려는 시도들이다. 이는 Sparse R-CNN이 단순히 학문적 성과에 그치지 않고, 다양한 실제 산업 현장에서 기반 모델로서 활용될 수 있는 높은 잠재력을 가지고 있음을 보여준다.

이러한 영향과 확장은 Sparse R-CNN이 2단계 탐지기의 높은 정확도와 1단계/앵커-프리 탐지기의 End-to-End 효율성이라는 두 패러다임의 장점을 결합한 일종의 ‘수렴점’ 역할을 하고 있음을 시사한다. 즉, 객체 탐지 연구의 미래가 두 방식 중 하나를 선택하는 것이 아니라, 명시적인 정제 단계의 정확성과 쿼리 기반 예측의 우아함을 모두 갖춘 하이브리드 아키텍처로 나아가고 있음을 보여주는 중요한 사례이다.

8. 결론

8.1 Sparse R-CNN의 핵심 기여 요약

Sparse R-CNN은 객체 탐지 분야의 오랜 관행이었던 ’조밀한 사전’에 대한 의존성에 근본적인 의문을 제기하고, ’순수 희소’라는 새로운 패러다임을 성공적으로 제시한 기념비적인 연구이다. 이 모델의 핵심 기여는 다음과 같이 요약할 수 있다.

첫째, 수십만 개의 조밀한 앵커 박스 후보를 소수의 학습 가능한 프로포절로 대체함으로써, 객체 탐지 파이프라인에서 불필요한 복잡성을 제거했다. 이는 RPN, 앵커 박스 설계, 다대일 레이블 할당, 그리고 NMS 후처리 등 수작업으로 설계되고 휴리스틱에 의존했던 여러 구성 요소를 완전히 배제하고, 진정한 의미의 End-to-End 객체 탐지 프레임워크를 구축하는 길을 열었다.

둘째, ’동적 인스턴스 상호작용 헤드’라는 혁신적인 아키텍처를 제안했다. 각 인스턴스에 맞춤화된 처리 방식을 동적으로 생성하는 이 메커니즘은, 고정된 파라미터를 공유하던 기존 헤드의 한계를 뛰어넘어 모델의 유연성과 표현력을 극대화했다. 이는 프로포절을 단순한 위치 정보가 아닌, 풍부한 특성을 담은 고차원 피처로 재정의했기에 가능한 혁신이었다.

셋째, 경쟁력 있는 성능, 빠른 훈련 수렴, 그리고 극적으로 단순화된 파이프라인을 통해 조밀한 사전의 필요성에 대한 기존의 통념에 성공적으로 도전했다. Sparse R-CNN은 조밀한 사전 없이도 충분히, 아니 오히려 더 나은 성능을 달성할 수 있음을 입증함으로써, 후속 연구자들이 더 효율적이고 우아한 탐지기를 탐색하도록 영감을 주었다.1 이는 기존의 복잡성이 성능 향상을 위한 필수 요소가 아니라, 오히려 극복해야 할 기술적 부채였을 수 있음을 시사한다. 즉, Sparse R-CNN은 복잡성을 수작업 컴포넌트에서 학습 가능한 표현(representation)으로 성공적으로 이전시킨 사례로 평가할 수 있다.

8.2 희소 기반 객체 탐지 모델의 미래 전망

Sparse R-CNN의 등장은 희소 쿼리 또는 프로포절을 기반으로 하는 탐지기 연구를 객체 탐지 분야의 주류로 끌어올리는 데 결정적인 역할을 했다. 이 모델이 제시한 방향성은 앞으로의 객체 탐지 연구가 나아갈 길을 밝히고 있다.

향후 연구는 몇 가지 주요 방향으로 심화될 것으로 전망된다. 첫째, 프로포절을 더욱 동적이고 입력 내용에 민감하게 적응하도록 만드는 연구가 계속될 것이다. 고정된 프로포절의 한계를 넘어, 이미지의 컨텍스트를 실시간으로 분석하여 최적의 초기 가설을 생성하는 메커니즘은 모델의 강건성과 일반화 성능을 한층 더 끌어올릴 것이다.

둘째, 훈련 효율성을 극대화하기 위한 레이블 할당 전략에 대한 연구가 심화될 것이다. 일대일 매칭의 희소한 감독 신호와 일대다 매칭의 풍부한 신호 사이에서 최적의 균형을 찾는 새로운 하이브리드 매칭 전략이나, 자기 지도 학습(self-supervised learning) 방식을 도입하여 레이블 의존도를 줄이는 연구가 활발해질 것이다.

마지막으로, 이 강력한 희소 패러다임은 비디오 객체 탐지, 3D 객체 탐지, 그리고 특정 클래스에 국한되지 않는 개방형 어휘(open-vocabulary) 탐지 등 더 넓고 도전적인 문제 영역으로 확장될 것이다. Sparse R-CNN이 보여준 모듈성과 적응성은 이러한 확장이 충분히 가능함을 시사한다.

결론적으로, Sparse R-CNN은 단순히 하나의 뛰어난 모델을 제시한 것을 넘어, 객체 탐지 분야의 사고방식을 전환시킨 ’게임 체인저’였다. 이 모델이 연 길은 앞으로 더 효율적이고, 더 일반적이며, 더 강력한 차세대 객체 탐지기의 개발로 계속해서 이어질 것이며, 그 영향력은 오랫동안 지속될 것이다.

9. 참고 자료

1. Sparse R-CNN: End-to-End Object Detection With Learnable Proposals - CVF Open Access, https://openaccess.thecvf.com/content/CVPR2021/papers/Sun_Sparse_R-CNN_End-to-End_Object_Detection_With_Learnable_Proposals_CVPR_2021_paper.pdf
2. Sparse R-CNN: the New Detector Type | by Emil Bogomolov | Analytics Vidhya | Medium, https://medium.com/analytics-vidhya/sparse-r-cnn-the-new-detector-type-799ce31fb403
3. An overview of Sparse R-CNN pipeline. The input includes an image, a… - ResearchGate, https://www.researchgate.net/figure/An-overview-of-Sparse-R-CNN-pipeline-The-input-includes-an-image-a-set-of-proposal_fig1_346373136
4. Sparse R-CNN: An End-to-End Framework for Object Detection - ResearchGate, https://www.researchgate.net/publication/372107901_Sparse_R-CNN_An_End-to-End_Framework_for_Object_Detection
5. Sparse R-CNN: End-to-End Object Detection with Learnable Proposals - ResearchGate, https://www.researchgate.net/publication/346373136_Sparse_R-CNN_End-to-End_Object_Detection_with_Learnable_Proposals
6. Sparse R-CNN: Towards More Efficient Object Detection Models, https://utorontomist.medium.com/sparse-r-cnn-towards-more-efficient-object-detection-models-fb244178998f
7. The road to Sparse R-CNN — key ideas and intuition | by Jakub Wiśniewski - Medium, https://medium.com/responsibleml/the-road-to-sparse-r-cnn-key-ideas-and-intuition-feb184d0d4f3
8. [R]Sparse R-CNN: End-to-End Object Detection with Learnable Proposals - Reddit, https://www.reddit.com/r/MachineLearning/comments/k8xxnc/rsparse_rcnn_endtoend_object_detection_with/
9. Sparse R-CNN OBB: Ship Target Detection in SAR Images Based on Oriented Sparse Proposals - arXiv, https://arxiv.org/pdf/2409.07973?
10. [2011.12450] Sparse R-CNN: End-to-End Object Detection with Learnable Proposals - ar5iv, https://ar5iv.labs.arxiv.org/html/2011.12450
11. Sparse R-CNN: End-to-End Object Detection with Learnable Proposals - Hugging Face, https://huggingface.co/papers/2011.12450
12. Dynamic Sparse R-CNN - CVF Open Access, https://openaccess.thecvf.com/content/CVPR2022/papers/Hong_Dynamic_Sparse_R-CNN_CVPR_2022_paper.pdf
13. Speeding up sparse R-CNN by reducing iterative detection heads and simplifying feature pyramid network - AIP Publishing, https://pubs.aip.org/aip/adv/article/13/5/055205/2888194/Compact-Sparse-R-CNN-Speeding-up-sparse-R-CNN-by
14. PeizeSun/SparseR-CNN: [CVPR2021, PAMI2023] End-to-End Object Detection with Learnable Proposal - GitHub, https://github.com/PeizeSun/SparseR-CNN
15. End-to-End Object Detection by Sparse R-CNN with Hybrid Matching in Complex Traffic Scenes - ResearchGate, https://www.researchgate.net/publication/375440054_End-to-End_Object_Detection_by_Sparse_R-CNN_with_Hybrid_Matching_in_Complex_Traffic_Scenes
16. Sparse R-CNN OBB: Ship Target Detection in SAR Images Based on Oriented Sparse Learnable Proposals - arXiv, https://arxiv.org/html/2409.07973v2
17. Sparse R-CNN OBB: Ship Target Detection in SAR Images Based on Oriented Sparse Learnable Proposals - arXiv, https://arxiv.org/html/2409.07973
18. Remote Sensing Image Object Detection Based on Improved Sparse R-CNN, https://bit.kuas.edu.tw/~jni/2023/vol8/s4/15.JNI-0453.pdf